Validation
# Tag:
- Source/KU_ML
Validation
train data와 vadliation data로 나누어서, validation data를 이용해 최적의 parameter를 찾는 과정.
복잡한 parameter, 혹은 복잡한 model을 사용함에 따라 Version Space가 복잡해지게 되고 이에 따라 Consistent함은 상승할 수 있어도, 새로운 데이터셋에 대한 Consistent함은 낮아지게 된다.
이를 방지하기 위해, 별도의 Validation Data를 이용해 최적의 hyper paramter를 찾는다.
Trade-off
Bias와 Variance는 Trade-off 관계에 있고, 이의 조화가 적절히 이루어져야 Underfitting혹은 Overfitting이 발생하지 않는다.
즉, 이를 방지하기 위하여, train data와 Validation Data의 Error가 적절히 조화를 이루는 어떠한 complexity를 결정한다.
